U-121 đã đảm nhiệm vai trò tàu huấn luyện tại các trường tàu ngầm Đức trong suốt Thế Chiến II, và không tham gia bất kỳ hoạt động tác chiến nào. Nó lần lượt phục vụ cùng Chi hạm đội trường U-boat cho đến tháng 6, 1940; chuyển sang Chi hạm đội U-boat 21 cho đến tháng 3, 1942; Chi hạm đội U-boat 24 cho đến tháng 5, 1942; trở lại Chi hạm đội U-boat 21 cho đến tháng 3, 1945; và cuối cùng thuộc về Chi hạm đội U-boat 31.[1]

Khi chiến tranh đi vào giai đoạn kết thúc, theo dự định của kế hoạch Regenbogen, U-121 bị đánh đắm tại Bremerhaven vào ngày 5 tháng 5, 1945 để tránh lọt vào tay lực lượng Đồng Minh.[1] Xác tàu đắm được trục vớt và tháo dỡ vào năm 1950.[1]